package com.bigdata.exam.cg

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Zufang {
  def main(args: Array[String]): Unit = {
    /*
    （1）读取house.txt数据，过滤掉第6个字段“地铁站”为空的数据。
    （2）统计各地区的租房人数。
    （3）将步骤（2）的结果保存到HDFS 上。
    （4）编写程序对应的spark-submit提交任务命令。
     */
    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("zufang")
    val sc = new SparkContext(conf)
    val input: RDD[String] = sc.textFile("data/house.txt")

    val clean: RDD[Array[String]] = input.filter(_.split("\t")(5) != "")
      .map(_.split("\t"))

    val peopleCount: RDD[(String, Int)] = clean.map(data => {
      (data(0), data(6).toInt)
    }).reduceByKey(_ + _)

    peopleCount.foreach(println)
    peopleCount.saveAsTextFile("hdfs://node01:9000/spark/result/house")

    // spark-submit --master spark://node01:7977 --deploy-mode client --class xxxx


    // spark-submit --master spark://node01:7977 --deploy-mode client --class xxx param


  }
}
